Năm 1995-1996: Phó phòng Hành chính – Đối ngoại, Trường Đại học Khoa học Xã hội và nhân văn, ĐHQGHN.
Năm 1997-2000: Phó Giám đốc Trung tâm nghiên cứu châu Á–Thái Bình Dương, Trường Đại học Khoa học Xã hội và Nhân văn, ĐHQGHN.
Năm 2003-2007:Giám đốc, Trung tâm Nghiên cứu Kinh tế phát triển, Khoa Kinh tế, ĐHQGHN.
Năm 2005-2007: Phó chủ nhiệm Khoa Kinh tế, ĐHQGHN
Từ 5/2007 đến 9/2010: Bí thư Đảng uỷ, Hiệu trưởng Trường Đại học Kinh tế - ĐHQGHN, kiêm Giám đốc Trung tâm Nghiên cứu Kinh tế phát triển, Trường ĐH Kinh tế (đến tháng 12/2007)
Năm 2007- 1/2011: Hiệu trưởng, Bí thư Đảng ủy Trường Đại học Kinh tế - ĐHQGHN.
Từ 9/2010 đến 7/2011: Phó Bí thư Đảng ủy, Phó Giám đốc ĐHQGHN; Thành ủy viên Thành ủy Hà Nội (từ 10/2010); Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng (từ 01/2011)
Từ 8/2011 đến 02/2013: Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng; Thành ủy viên Thành ủy Hà Nội; Phó Bí thư Thường trực, Phó Giám đốc Thường trực ĐHQGHN
Ngày 5 tháng 2,2013 được Thủ tướng Chính phủ bổ nhiệm chức vụ Giám đốc Đại học Quốc gia Hà Nội.
Ngày 09/9/2014 được Thủ tướng Chính phủ bổ nhiệm chức vụ Chủ tịch Hội đồng Đại học Quốc gia Hà Nội.
Ngày 26/1/2016 tại Đại hội Đảng toàn quốc lần thứ XII ông được bầu là Ủy viên Ban chấp hành trung ương Đảng Cộng sản Việt Nam[21]
Tháng 4 năm 2016, ông được Chủ tịch nước bổ nhiệm làm Bộ trưởng Bộ Giáo dục và Đào tạo, nhiệm kỳ 2016 - 2021, thay cho Phạm Vũ Luận.
25/10/2018, theo kết quả được công bố, ông là người đạt số phiếu tín nhiệm thấp nhất trong số 48 chức danh do Quốc hội bầu với chỉ 28,87% phiếu tín nhiệm cao.
